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@ Vorrichtung und Verfahren zum Implementieren eines Bild-Spreadsheets 

(57) Ein Bild-Spreadsheet erstreckt die Spreadsheet-Struk- 
turen auf zweidimensionale (2D) und dreidimensionale 
{3D) Bilder und Bildsequenzen, wobei Zellen in dem Bild- 
Spreadsheet Bilddaten und mathematische Operationen 
zugewiesen sind, die Bildoperanden implementieren. Das 
Bild-Spreadsheet ist auf einem Bildsystem mit einem Pro- 
zessor zum Anzeigen einer grafischeh Benutzerschnitt- 
stelle (GUI) auf einem Display implementiert. Ein Bild- 
Spreadsheet-Generator bewirkt, daft die GUI ein Spreads- 
heet-Gitter mit einer Mehrzahl von Zellen mit zugeordne- 
ten Registrierungsmarkern anzeigt, wobei jeder Zelle eine 
Gleichung zugewiesen werden kann. Der Bild-Spreads- 
heet-Generator reagiert auf Bilddaten mit zugeordneteh 
Registrierungsdaten zum Anzeigen einer Mehrzahl von 
Bildern in einem Teil der Mehrzahl von Zellen, wobei die 
Mehrzahl von Bildern so ausgerichtet und angeordnet ist, 
dafc die Registrierungsmarker von entsprechenden Zellen 
zusammenpassen. Der Bild-Spreadsheet-Generator ant- 
wortet auf Benutzereingaben zum Implementieren von 
Gleichungen in die Zellen zum Transformieren von Bil- 
dern. Vorbestimmte Bildtransformierende Funktionen, 
die durch den Benutzerfur jede Zelle vorgegeben werden 
konnneh, erzeugen transformierte Bilder in den Zellen. 
UnterVerwendung einer Bildsubtraktion konnen zum Bei- 
spiel Magnetresonanz-Angiographie (MRA)-Bilder, die 
Bilder enthalten, die das Eindringen eines Kontrastmittels 
in ein vaskulares System darstellen, transformiert wer- 
den, um das vaskulare ... 
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Beschreibung 
Hinter,grund der Erfindung 

Die Erfindung betrifft das Anzeigen von Bildem und ins- 5 
besondere ein Bild-Spreadsheet zur Bearbeitung und Dar- 
stellung mehrfacher Bilder. 

Es ist bekannt, daB Spreadsheet-Anwendungsprogramme 
und Spreadsheet-Metaphern ein intuitives und bewahrtes 
Verfahren zur Bearbeitung von numerischen Daten zur Ver- 10 
fiigung stellen. Solche Daten sind im allgemeinen Text- oder 
ASCH-Daten im Gegensatz zu anderen Daten mit anderen 
Formaten wie zum Beispiel grafische Daten. 

Auf dem Gebiet der medizinischen Bilderzeugung exi- 
stieren einige spezifische Probleme und Anforderungen bei 15 
der gleichzeitigen Darstellung von mehreren Reihen und 
mehreren Arten von Bildern. Mit den dreidimensionen Bild- 
gebungsverfahren, wie zum Beispiel CT, MR, PET, SPECT 
und 3D-Ultraschall, werden Volumina und nicht Bilder er- 
zeugt, die im allgemeinen in Form von Stapeln von Quer- 20 
schnittsbildem eines zu untersuchenden Patienten vorliegen. 
Aus diesem Grund besteht die Notwendigkeit, mehrere Bil- 
der aus verschiedenen Verfahren gleichzeitig darzustellen. 

Es ist iiblich, daB ein Patient mehrere Male mit einem ein- 
zigen Verfahren oder mit mehreren Verfahren untersucht 25 
wird. Im Falle einer Untersuchung mit mehreren Verfahren 
werden im gleichen Objektbereich verschiedene GroBen ge- 
messen. AuBerdem kann die raumliche Auflosung der Bild- 
satze unterschiedlich sein. Um verschiedene Beurteilungen 
vornehmen zu konnen, werden haufig mehrere Untersu- 30 
chungen mit einem einzigen Verfahren durchgefuhrt, wie es 
zum Beispiel bei der Kontrast-verstarkten magnetischen Re- 
sonanz- Angiographic der Fall sein kann, bei der vor und 
nach der Injektion eines Kontrastmittels in den Blutstrom 
Bilder aufgenommen werden. Weitere Beispiele sind die 35 
Beurteilung einer Behandlung, bei der vor und nach dem 
Eingriff pathologische Bilder aufgenommen werden, oder 
Funktionsbilder, mit denen biologische Prozesse iiber eine 
bestimmte Zeitdauer iiberwacht werden. 

Sowohl bei den einfachen als auch bei den mehrfachen 40 
Verfahren fiihrt eine Bewegung des Patienten sowie die Re- 
produzierbarkeit der Abtastung zu Problemen bei der Bild- 
erzeugung. In besummten Fallen kommt es vor, daB bei ei- 
nem Patienten die Bilder mit Abstanden von Tagen, Wochen 
oder Monaten aufgenommen werden. Selbst in dem Fall, in 45 
dem der Patient fur eine Anzahl von schnellen Aufhahmen 
in einer Abtastvorrichtung verbleibt, kann sich die Stellung 
bzw. Position des Patienten aus verschiedenen Griinden wie 
zum Beispiel der Atmung, einer Unbequemlichkeit, einer 
Erregung oder der Verdauung verandern. Auch die Abtast- 50 
vorrichtung selbst kann aufgrund einer mechanischen Unge- 
nauigkeit zu einer Verschiebung fuhren. 

Es besteht sornit ein Bedarf, die Bilder aus verschiedenen 
Verfahren zur Anwendung bei der medizinischen Diagnose 
und Behandlung aneinander anzupassen. 55 

Zusammenfassung der Erfindung 

Durch ein Bild-Spreadsheet wird die Spreadsheet-Meta- 
pher (iibergeordnete Struktur) auf zweidimensionale (2D) 60 
und dreidimensionale (3D) Bilder und Bildsequenzen er- 
streckt, wobei Zellen in dem Bild-Spreadsheet Bilddaten 
und mathematische Operationen zugeordnet sind, die Bild- 
operanden implementieren. Das Bild-Spreadsheet ist auf ei- 
nem Bildsystem implementiert, das einen Prozessor zur 65 
Wiedergabe einer grafischen Benutzerschnittstelle (GUI - 
graphic user interface) auf einem Bildschirm aufweist. Ein 
Bild-Spreadsheet-Generator bewirkt, daB die GUI ein Spre- 
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adsheet-Gitter mit einer Mehrzahl von Zellen anzeigt, denen 
Registrierungsmarker zugeordnet sind, wobei jeder Zelle 
eine Gleichung zugeordnet werden kann. Der Bild-Spreads- 
heet-Generator spricht auf Bilddaten an, die zugeordnete 
Registrierungsdaten zur Anzeige einer Mehrzahl von Bil- 
dern in einem Teil der Mehrzahl von Zellen aufweisen, wo- 
bei die Mehrzahl von Bildem so ausgerichtet und angeord- 
het sind, daB die Registrierungsmarker der entsprechenden 
Zellen aneinander angepaBt sind. Der Bild-Spreadsheet-Ge- 
nerator spricht auf Benutzereingaben zur Implementierung 
einer Gruppe von Gleichungen in einer ersten Gruppe von 
Zellen an, um die Bilder in der ersten Gruppe von Zellen zu 
transformieren. 

Mit vorbestimmten Bild-transformierenden Funktionen, 
die durch einen Benutzer fur jede Zelle individuell einge- 
stellt werden konnen, werden in den Zellen transformierte 
Bilder erzeugt. Zum Beispiel konnen unter \ferwendung ei- 
ner Bildsubtraktion Magnetresonanz- Angiographic (MRA)- 
Bilder, die Bilder umfassen, die das Eindringen eines Kon- 
trastmittels in ein vaskulares System zeigen, transformiert 
werden, um das vaskulare System im Hintergrund auszu- 
blenden und den FluB des Kontrastmittels anzuzeigen. In 
den Zellen konnen zweidimensionale Bilder, dreidimensio- 
nale Bilder und sogar Text angezeigt werden. Ein Eselsohr- 
Icon in einer Zelle, ein pop-up-Fenster oder eine pop-up-Be- 
nutzer-Schnittstelle (UI) konnen aktiviert werden, um selek- 
tiv ein Bild aus einer Mehrzahl von der ersten Zelle zuge- 
ordneten Bildern anzuzeigen. 

Kurze Beschreibung der Zeichnung 

Fig. 1 zeigt ein das Bild-Spreadsheet implementierendes 
Gesamtsystem; 

FigJ 2 zeigt das die Magnetresonanz- Angiographic imple- 
mentierende Bild-Spreadsheet; 

Fig. 3 zeigt das eine 3D Segmentation implementierende 
Bild-Spreadsheet; und 

Fig. 4 zeigt ein FluBdiagramm des Betriebsverfahrens des 
Bild-Spreadsheets. 

Detaillierte Beschreibung der bevorzugten Ausfuhrungs- 

form 

GemaB Fig. 1 werden ein Bild-Spreadsheet-Generator 10 
und ein Verfahren zur Bearbeitung von zweidimensionalen 
(2D) und/oder dreidimensionalen (3D) Bildern mit einem 
grafischen Anzeigesystem verwendet, so daB eine vertraute 
Arbeitsumgebung zur Bearbeitung vieler Arten von Bildda- 
ten geschaffen wird und sich eine bedeutende und beispiel- 
hafte Veranderung gegemiber den in allgemeinen Bildverar- 
beitungssystemen verwendeten "Pipeline"-Modellen ergibt. 
Der Bild-Spreadsheet-Generator 10 ist mit einem Grafikge- 
nerator 12 eines Grafiksystems 14 mit einem Prozessor 16 
verbunden. Der Grafikgenerator 12 wirkt mit dem Prozessor 
16 zum Beispiel iiber eine Task-Karte 18 oder andere Funk- 
tionen oder Unterprogramme zusammen, um 2D und/oder 
3D-Bilder auf einem Schirm oder einer anderen Ausgabe- 
einrichtung zu erzeugen. Der Prozessor 16 arbeitet mit ei- 
nem Bildsymbol-Generator 20 zusammen, der eine Samm- 
lung von Programmobjekten zur Darstellung von Bildsym- 
bolen auf dem Ausgabe-Bildschirm beinhalten kann, die 
durch den Benutzer des Grafiksystems 14 leicht verstanden 
werden konnen. 

Der Prozessor 16 umfafit auch eine Einrichtungs-Schnitt- 
stelle 22, einen Manager 24 fur eine grafische Benutzer- 
Schnittstelle (GUI) und eine Anwendungsprogramm- 
Schnittstelle (API) 26, wobei diese Komponenten 22 bis 26 
mit einem Schnittstellen-Server 28 verbunden sind, um mit 
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anderen Systemen $0 zusammenzuwirken, wie dem Internet 
fur Fernverbindungen; einem Hardcopy-Server (HcS) 32 
zum Senden von Ausgabedaten zu einem Bildgerat oder 
Drucker 34 rur Hardcopy- Ausgaben; einem Datenbank-Ser- 
ver (DbS) 36 zurri Speichern von Daten zum Beispiel in ei- 
nem Online-Speicher 38, einem Verarbeitungs-SerVer (PrS) 
40 zum Speichern von Daten in dem Speicher 42 des Pro- 
zessors 16 oder anderen zentralen Prozessoreinheiten 
(CPUs); so wie einem Benutzer-Schnittstellen (UI)-Server 
44, der zum Beispiel unter Verwendung der Version 11 
(XI 1) des X WINDOWS Protokolls mit mindestens einer 
Eingabe- und/oder Ausgabe-(I/0)Einrichtung 46 wie einem 
Bildschirm, einer Tastatur und/oder einer Maus zusammen- 
wirkt. 

Bei einer bevorzugten Ausfiihrungsform ist der Grafikge- 
nerator 12 durch die "Fly Through"-Software der Firma Sie- 
mens Medical Systems Inc., Iselin, New Jersey, realisiert, 
die auf einer Workstation als Grafiksystem 14^ wie zum Bei- 
spiel der "Prominence" -Workstation von der Firma Siemens 
Medical Systems Inc., Iselin, New Jersey, vertrieben wird, 
die eine weiterentwickelte Workstation zur medizinischen 
Bilderzeugung und Nachbearbeitung ist, die von der Firma 
ISG Technologies, Kanada, hergestellt wird. Alternativ dazu 
kann das Grafiksystem 14 auch die "3D Virtuoso" Worksta- 
tion zur Nachbearbeitung von der Firma Siemens Medical 
Systems Inc. sein, die optional auf einer Windows NT Platt- 
form arbeiten kann und zum Beispiel das Laboratory Infor- 
mation System der Firma Medcom Information Systems 
Inc., anwendet. Die GUI zur Anwendung der "Fly 
Through"-Software kann auf einer Sienet Magic view 
CT/MR Satellitenkonsole der Firma Siemens Medical Sy- 
stems, Inc. implementiert werden, um als I/O-Einrichtung 
46 zu arbeiten. Alternativ dazu kann als Grafiksystem 14 
auch das in der US-PS 5.782.762 von Vining und/oder der 
US-PS 5.825.909 von Jang beschriebene Grafiksystem ver- 
wendet werden, wobei diese Druckschriften durch Bezug- 
name zum Bestandteil dieser Offenbarung gemacht werden 
sollen. 

Bei einer medizinischen 2D/3D-Bilderzeugung kann der 
Bildsymbol-Generator 20 eine Samrnlung von Programm- 
objekten sei, die metaphorisch medizinische Bildsymbole 
auf dem UI der I/O-Einrichtung 46 darstellen, die fiir einen 
Benutzer einfach verstandlich sind. . Die Einrichtungs- 
Schnittstelle 22 kann ein Satz von Objekten einer "Digital 
Imaging and Communications in Medicine" (DICOM)- 
Kommunikations-Schnittstelle sein, wahrend der Schnitt- 
stellen-Server 28 ein DICOM-basierender Server sein kann, 
der rnit medizinischen Systemen 30 wie computergestiitzten 
Tomographie-Abtasteinrichtungen (CAT) und Rontgen- 
strahlengeraten zusammenwirkt. Ferner kann der GUI-Ma- 
nager 24 der MOTIF-Manager fiir X Windows und die API 
26 der Open Graphics Library (OpenGL)-Standard Grafik- 
API sein. 

Der Grafikgenerator 12 kann ein Segmentierungsmodul, 
ein Modellbildungsmodul und ein interaktives Anzeigemo- 
dul umfassen. Mit dem Segmentierungsmodul werden wah- 
rend der Simulation einer endoskopischen Ansicht verschie- 
dene interessierende Organe heraussegmentiert und ein seg- 
mentierter Volumen-Datensatz erzeugt. Das Modellbil- 
dungsmodul konvertiert den segmentierten Volumen-Daten- 
satz in einen Satz von segmentierten polyhedralen Model- 
len, die eine Echtzeit-Wiedergabe mit dem interaktiven An- 
zeigemodul ermoglichen. Durch die GUI der I/O-Einrich- 
tung 46 kann dem Benutzer ein Schirm mit Ansichtsfenstem 
geboten werden, wie zum Beispiel ein Haupt-Ansichtsfen- 
ster 48 gemafi den Fig. 2 und 3, das fur bestimmte Anzeige- 
zwecke, die.unten noch erlautert werden, in einzelne Spre- 
ads heet- Zellen 50 unterteilt werden kann. Ein Benutzer-Ein- 
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gabefenster, wie zum Beispiel das Fenster 52, kann durch ei- 
nen entsprechenden Befehl des Benutzers oder des Grafik- 
generator s 12, der auf eine Bedingung wie zum Beispiel 
eine "query user for input" -Bedingung oder eine Fehlerbe- 
5 dingung geoffnet oder. geschlossen werden. Das Fenster 52 
kann ein pop-up-Fenster sein, das zur Eingabe von mathe- 
matischen und anderen Operationen fur eine einzelne oder 
eine Gruppe von Zellen 50 verwendet wird. 

Weiterhin ist auf dem Schirm auch ein Bereich 54 vorhan- 

10 den, der ein Steuerpanel aus wahlbaren Tasks und scrollba- 
ren Taskleisten zur Verfugung stellt. Zum Beispiel konnen 
Befehle oder Icons fur 2D, MPR, 3D, Winkel, Bereich, Ul, 
U2 und Fly, die mit verfugbaren Task-Karten korrespondie- 
ren, zur Verfugung gestellt werden. Andere Befehle wie 

15 Task-Karten oder Tabs konnen auch angezeigt werden, die 
eine Auswahl von Befehlen wie Film, Save, Zpan und W/I 
ermoglichen. Weiterhin konnen auch Icons, die mit copy 
screen, copy series, new page, clear image oder options be- 
schriftet sind, oder andere Icons wie scrollbare Pfeil-Befehle 

20 vorgesehen sein. 

Um das Bild-Spreadsheet in das Haupt-Ansichtsfenster 
48 zu implementieren, kann der Bereich 54 des Schirms 
auch Befehle zum Editieren von Zellen oder Icons wie cell 
editor, add row, add column, evaluation all, load und save 

25 enthalten. DemgernaB kann ein Benutzer Zellen durch An- 
klicken der Zelle, d. h. durch Bewegen eines GUI-Kursors 
auf die Zelle mit einer beweglichen Maus und durch Betati- 
gung des Mausknopfes auswahlen. Mit„.solchen Befehlen 
zum Editieren von Zellen kann der Benutzer eine Zelle edi- 

30 tieren, Reihen und Spalten den Zellen 50 hinzufugen, alle 
Zellen auswerten, um das gesamte Spreadsheet der Zellen 
zu aktualisieren, um modifizierte Bilder oder Gleichungen 
zu erzeugen, einzelne Zellen mit Bildern zu laden und das 
gesamte Spreadsheet mit den gegenwartigen Bildern, Glei- 

35 chungen und/oder Konfigurationen der Zellen zu speichern. 
Wie in Fig. 1 gezeigt ist, kann die I/O-Einrichtung 46 zum 
Empfang von Benutzer- Eingaben optional mit dem Bild- 
Spreadsheet-Generator 10 verbunden sein, mit dem die Aus- 
wahl und Ausrichtung der Ansichten gesteuert wird, wenn 

40 der Benutzer auf den Schirm mit den Fenstern 48, 54 schaut, 
um durch die in den Zellen 50 dargestellten Bilder zu navi- 
gieren. 

Das Bild-Spreadsheet-System 10 kann Hardware und/ 
oder Software sein und kann als Unterprogramm in dem 

45 Grafikgenerator 12 oder auBerhalb des Grafiksystems 14 
realisiert sein. Das Bild-Spreadsheet-System 10 kann zum 
Beispiel eine getrennte Workstation, die mit dem Grafikge- 
nerator 12 verbunden ist, oder ein PC sein, der iiber ein 
Netzwerk, wie zum Beispiel das Internet, mit dem Grafikge- 

50 nerator 12 verbunden ist. 

Wie in Fig. 2 gezeigt ist, konnen die Zellen 50 des Bild- 
Spreadsheets in einer typischen Spreadsheet- Art bezeichnet 
sein, bei der die Zellen 50, die Reihen bilden, numerisch be- 
nannt und die Spalten alphabetisch bezeichnet sind, so daB 

55 sich die Zellen Al bis A3, Bl bis B3, CI bis C3 usw. erge- 
ben. Jeder Zelle 50 ist eine Formel oder eine Gleichung zu- 
geordnet, die auf anderen Anzeigeschirmen sichtbar sein 
kann, auf die durch Benutzerbefehle umgeschaltet wird, 
oder die in dem Bereich 54 des Anzeigeschirms in vorbe- 

60 stimmten Anzeigebereichen fiir Gleichungen wiedergege- 
ben werden. Bei altemativen Ausfuhrungsformen kann das 
Bild-Spreadsheet 2D-Bilder gemafi der Darstellung in Fig. 
2, 3D-Bilder gemafi der Darstellung in Fig. 3, Text gemafi 
Fig. 2 oder eine Kombination aus Text, 2D-Bildern und 3D- 

65 Bildern gemafi den Fig. 2 und 3 beinhalten. 

Gemafi Fig. 2 kann jede Zelle 50 Registrierungsmarker 
56 enthalten, die sichtbar oder unsichtbar sein konnen, das 
heifit dafi jede Zelle 50 zugeordnete Daten in Speichern aiif- 
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weist, die den Ort solcher Registrierungsmarker 56 spezifi- 
zieren, und der Bild-Spreadsheet-Generator 10 kann auf Be- 
nutzerbefehle zum Umschalten zwischen der Wiedergabe 
und der Nicht- Wiedergabe der Registrierungsmarker 56 in 
ausgewahlten oder alien Zellen 50 ansprechen. Die Regi- 
strierungsmarker 56 werden verwendet, um die Bilder zu 
positionieren und auszurichten, wobei die Registrierungs- 
marker 56 in einer Standardeinstellung fur den Benutzer un- 
sichtbar sind, solange dieser wahrend des Ladens eines Bil- 
des und einer Sitzung zur Betrachtung nicht auf die Anzeige 
der Registrierungsmarker 56 umschaltet. Zum Beispiel kon- 
nen die Zellen Al, Bl, CI fortlaufende Rahmen in einer Sit- 
zung einer Magnetresonanz-Angiographie (MRA) wieder- 
geben, in der ein Satz 58 von BlutgefaBen in umgebendem 
Gewebe in der Zelle Al angezeigt wird. Die Zellen Bl und 
CI zeigen das Eindringen eines Kontrastmittels in die Blut- 
gefaBe, wobei die Bilder 60 bis 62 die BlutgefaBe 58 mit 
dem darin flieBenden Kontrastmittel darstellen. Die Regi- 
strierungsmarker 56 ermoglichen die Erzeugung von ver- 
schiedenen Bildern eines gemeinsamen Objektes, das heiBt 
der BlutgefaBe, die mit einer sehr genauen Ausrichtung zu 
orientieren sind. Die Registrierungsmarker stellen eine Vi- 
sualisierung einer darunterliegenden raumlichen Abbildung 
zwischen mindestens zwei Bildem oder Volumina dar, die in 
mindestens einer Zelle des Bild-Spreadsheets durch den 
Bild-Spreadsheet-Generator 10 erzeugt werden. Bei einer 
solchen Abbildung wird jeder gegebene Punkt in einem Bild 
auf einen korrespondierenden Punkt in dem anderen Bild 
oder Volumen abgebildet. Bei dem Bild-Spreadsheet wer- 
den dieses Abbildungen berechnet, um gemaB der folgenden 
Beschreibung die anatomische Koharenz zu erhalten. Aus 
diesem Grund ist klar, daB die in den Fig, 2 und 3 gezeigten 
Registrierungsmarker 56 nur beispielhaft zu verstehen sind 
und nicht unbedingt in den Zellen vorhanden sein miissen. 
Die Registrierungsmarker 56 konnen in dem Bild-Spreads- 
heet auch weder sichtbar noch unsichtbar sein, sondern mit 
Bits, Zeigern, Speicherplatzen oder anderen Daten korre- 
spondieren, die eine Registrierung zwischen Bildern mit ei- 
nem durch den Bild-Spreadsheet-Generator 10 irnplemen- 
tierten Regis trierungsverfahren ermoglichen. 

Die Zellen Al, Bl, CI konnen Bilder enthalten,. die mit 
Dateien Fl, F2, F3 in dem Speicher korrespondieren, die zu- 
vor von einer Bilddatenquelle der MRA-Sitzung empfangen 
wurden, wie zum Beispiel einem Speicher des Grafiksy- 
stems 14. DemgemaB kann durch die Gleichung Al = lo- 
ad(Fl), mit der die Zelle Al in die Anzeige des Bildes 58 
geladen wird, eine load-Operation in das Bild-Spreadsheet 
implementiert werden. Die Gleichung wird anschlieBend 
der Zelle Al zugeordnet. Altemativ dazu konnen die Zellen 
Al, Bl, CI Bilder aufweisen, die mit den Zeiten Tl, T2, T3 
der MRA-Sitzung korrespondieren, DemgemaB kann eine 
load-Operation in das Bild-Spreadsheet implementiert wer- 
den, durch die die Zelle Al mit der Gleichung Al = lo- 
ad(Tl) geladen wird. Altemativ dazu konnen die Zellen Al, 
Bl, CI Bilder enthalten, die mit verschiedenen Rahmen 
FR1, FR2, FR3 aus dem Magnetresonanz-Bildsystem korre- 
spondieren, so daB der Zelle Al die Gleichung Al = lo- 
ad(FRl) zugeordnet ist. 

Fur eine solche MRA-Sitzung konnen die Bilder in den 
Zellen A1,JB1, CI, die von den Rahmen erhalten werden, 
entsprechenden Zeiten zugeordnet werden. Das Bild-Spre- 
adsheet kann auch Bildfunktionen wie frameO unterstiitzen, 
die aus einem Speicher zu einer Zeit t in einer Zeitsequenz 
von Rahmen einen Rahmen zuruckfuhren, und mit den Glei- 
chungen fur die Zellen 50 konnen Funktionsaufrufe ermog- 
licht werden, die in Zellen-Operationen zu verwenden sind. 
DemgemaB wurde mit der Gleichung Al = load(frame(Tl)) 
das Bild in dem Rahmen zu der Zeit Tl wiedergewonnen 
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und in die Zelle Al'geladenr werden. 

Beim Laden der Zellen kann der Bild-Spreadsheet-Gene- 
rator 10 automatisch die Registrierungsmarker fur jedes 
Bild bestimmen und das Bild dann so formatieren, daB die 
5 Registrierungsmarker an deh Registrierungsmarkern 56 ge- 
maB Fig. 2 positioniert und angezeigt werden. 

Es konnen auch andere Zellen-Operationen unterstutzt 
werden, wie zum Beispiel mathematische Standard-Opera- 
tionen wie Addition, Subtraktion, Multiplikation und Divi- 

10 sion, die auf dem Gebiet der Bilderzeugung allgemein defi- 
niert und bekannt sind. Bei dem MRA-Beispiel in Fig. 2 zei- 
gen die Zellen Al, Bl und CI das zeitliche Eindringen und 
Verhalten eines Kontrastmittels 66 in die/den BlutgefaBen, 
wobei die Zelle Al das Bild 58 der BlutgefaBe ohne Kon- 

15 trastmittel 66, die Zelle Bl das Bild mit etwas Kontrastmit- 
tel in den BlutgefaBen und die Zelle CI die BlutgefaBe nach 
Ablauf einer spezifizierten Zeit nach dem Eindringen des 
Kontrastmittels 66 zeigt. 

Nach der Injektion des Kontrastmittels 66 erscheinen die 

20 GefaBe hell. Die umgebende Anatomie bleibt im wesentH- 
chen unverandert und kann durch Subtraktion des Bildsatzes 
ohne Kontrastmittel von dem Bildsatz mit Kontrastmittel 
entfemt werden. Der Benutzer kann dann die Zelle A2 unter 
Verwendung des Bild-Spreadsheet-Generators 10 anweisen, 

25 eine zugeordnete Gleichung A2 = CI - Al auszufuhren, die 
bewirkt, daB der Bild-Spreadsheet-Generator 10 das Bild 58 
von dem Bild 62 subtrahiert, so dafj die Basis-BlutgefaBe 
entfemt werden und nur das Kontrastmittel 66 sowie sein 
Weg durch die BlutgefaBe dargestellt wird. Durch Subtrak- 

30 tion und die dadurch bewirkte Ausfilterung der BlutgefaBe 
aus dem Bild 62, mit der das Hintergrund-Gewebe aus dem 
Bild 62 entfemt wird, zeigen die Wege des Kontrastmittels 
in dem Bild 64 zum Beispiel Gesichtspunkte des Blutrlus- 
ses, wie einen Terminus 68 des Blutflusses, der einen Ver- 

35 schluB oder einen Blutklumpen in den BlutgefaBen indizie- 
ren kann. In ahnlicher Weise kann der Blut- und Strdmungs- 
fluB um Tumore und andere Karzinome durch diese Sub- 
traktion angezeigt werden. 

Es kann auch Text in die Zellen wie zum Beispiel die 

40 Zelle A3 eingegeben werden, wobei dieser Text mit Glei- 
chungen zu anderen Zahlen addiert oder von diesen subtra- 
hiert werden kann. Die Zelle B2 kann sich zum Beispiel 
durch die Gleichung B2 = Al + A3 aus den Zellen Al und 
A3 zusammensetzen, so daB der Text als Legende oder Be- 

45 schriftung^ in das Bild 58 eingefugt werden kann, das dann 
zum Beispiel in Form von Prasentationsmaterial, wie Doku- 
menten oder Folien, ausgedruckt oder ausgegeben werden 
kann. Zusatzlich dazu kann jeder Zelle 50 einer Mehrzahl 
von anderen Zellen zugeordnet sein und/oder eine Mehrzahl 

50 von Bildem indexieren, so daB der Bild-Spreadsheet-Gene- 
rator 10 ein Eselsohr-Icon 70 oder andere grafische Icons in 
jeder Zelle oder altemativ dazu nur in solchen Zellen, die 
eine solche Mehrzahl von Bildem beinhalten, erzeugen 
kann. Altemativ dazu kann auch ein pop-up-Fenster oder 

55 eine pop-up-Benutzer-Schnittstelle (Ul) wie ein Eingabe- 
fenster 52 erzeugt und angezeigt werden, um dem Benutzer 
eine selektive Ansicht verschiedener, jedoch einander zuge- 
ordneter Bilder zu ermoglichen. Unter Verwendung des 
Eselsohr-Icons 70, des pop-up- Fensters oder der pop-up-Be- 

60 nutzer-Schnittstelle (Ul) kann sich der Benutzer durch die 
Anzahl von Bildem "blattern", das heiBt diese laden oder 
durchscrollen, wobei das Minuszeichen ein zuriickblattern 
zu einem vorherigen Bild und das Pluszeichen ein Vorwarts- 
blattern zu einem nachsten Bild bedeutet. 

65 Bei alternativen Ausfuhrungsformen konnen Pfeile oder 
andere, Browser-ahnlich zu betatigende Icons in Verbin- 
dung mit oder anstelle der genannten Eselsohr-Icons 70 oder 
pop-up-Fenster oder UIs vorgesehen sein, wobei das auf 
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dem Schirm 48 in Fjg. 2 ge^eigte Bild-Spreadsheet auch un- 
ter Verwendung eines Internet-Browsers wie z. B. des Mi- 
crosoft Internet B rowers, implementiert werden kann, wobei 
die Zellen 50 zum Beispiel in Browserrahmen und/oder 
Webseiten implementiert sind. Bei anderen Ausfuhrungsfor- 5 
men konnen auch Java : Applets und/oder ActiveX Steuer- 
einheiten unter Verwendung der Microsoft ActiveX Techno- 
logie verwendet werden, um das Bild-Spreadsheet und/oder 
den Bild-Spreadsheet-Generator 10 oder Teile davon zu im- 
plementieren. Solche Java- Applets oder ActiveX Steuerein- io 
heiten konnen dann einem Web-Browser oder anderen Inter- 
net-basierenden oder World-Wide- Web-basierenden oder 
Netzwerk-basierenden Anwendungen untergeordnet wer- 
den, so daB ein Benutzer auch von einer entfernten Station 
mit jedem Browser oder jeder Netzwerk-Plattform, die mit 15 
Java oder ActiveX kompatibel ist, auf das Bild-Spreadsheet 
Zugriff nehmen kann. 

Auch unare Operationen sind fiir die Zellengleichungen 
verfiigbar, wie zum Beispiel inverse Funktionen, die ein 
Bild durch seine Negativdarstellung ersetzen, ebenso wie 20 
exponentielle Funktion wie die expO-Funktion als eine Po- 
tenz der Basis e des naturlichen Logarithmus, sowie Wurzel- 
funktionen wie die Quadratwurzelfunktion sqrt(). Weiterhin 
konnen auch Filteroperationen unterstutzt werden, wie zum 
Beispiel Farbfilter, Grauskalafilter und Filter zur Erhohung 
der Intensitat, wobei solche Filter Falschfarbeh-Verstarkun- 
gen erzeugen konnen, um bestimmte Merkmale wie TYimore 
oder Kontrastmittel zu unter scheiden. 

Die Bilder in den Zellen konnen weiteren Operationen 
unterworfen werden, wie zum Beispiel einer Schwellwert- 
bildung- unter Verwendung von Schwellwert-Funktionen, 
wobei auch Bild-Segmentationsverfahren verwendet wer- 
den konnen. Als Beispiel zeigt Fig. 3, wie fiir die Zellen Al 
bis CI ein 3D-Bild 72 eines Kopfes in der Zelle 74 in einer 
Magnetresonanz-Abbildungssequenz (MRI) transformiert 
wird, um ein Bild 76 der darunterliegenden BlutgefaBe in 
der Zelle 78 zu erzeugen und somit ein Bild 80 des Gehirns 
in der Zelle 82 zu zeigen. Es kann zum Beispiel eine seg- 
ment- Funktion aufgerufen werden wie Bl = segment(Al) 
und CI = segment(Bl). Zusatzlich konnen die Bilder 72 bis 
76 addiert werden, so daB sie sich in drei Richtungen iiber- 
lappen und ein in einer anderen Zelle wie B2 wiedergegebe- 
nes, kombiniertes Bild entsteht. 

Weitere Operationen konnen implementiert werden, mit 
denen eine aufwendige Bildverarbeitung, wie zum Beispiel 
eine Projektion der maximalen Intensitat (MIP oder MaxIP) 
oder eine Projektion der minimalen Intensitat (MinIP), er- 
leichtert wird und die als Zellenfiinktionen implementiert 
werden konnen. Zum Beispiel kann gemaB Fig. 3 ein Ma- 
gnetresonanzbild (MR) 84 eines vaskularen Gewebes in ei- 
ner Datei mit dem Namen nonvascular gespeichert werden. 
Unter Anwendung eines GefaB-Segmentationsverfahrens, 
das durch die Funktion segment_vessel() und eine M1P- 
Funktion call MIP() aufgerufen wird, kann das Bild 88 in 
der Zelle 90 mit der Bezeichnung A3 durch folgende Glei- 
chungen erzeugt werden: 

A2 = load_image('mr_vascular') und A3 =' MEP(seg- 
ment__vessel(Al)), 

die jeweils in der Zelle A2 bzw. A3 implementiert sind. Bei 
diesem Beispiel wird ein dem 3D-Bild 84 entsprechender 
Rohdatensatz in die Zelle A2 geladen, und die Zelle A3 wird 
so eingestellt, daB sie eine Zusammensetzung aus einer Pro- 
jektion der maximalen Identitat des Datensatzes und des Er- 
gebnisses des GefaB-Segmentationsverfahrens darstellt. 

Weitere Funktionen und Bildoperationen konnen imple- 
mentiert werden, wie zum Beispiel Bildverarbeitungsfunk- 
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tionen wie Kantenerfassung, TiefpaB, Hochpafi, BandpaB- 
Filterung und Rauschunterdriickung; ebenso wie Schwell- 
wertbildung; Graupegel-Fensterverarbeitung; Bildverstar- 
kung wie zum Beispiel Kantendetektion, HefpaB-/Hoch- 
pafi-Filterung, Weichzeichnung und Farbmodifikation; Seg- 
mentation wie statische und Bewegungs-basierende Opera- 
tionen; Morphogenie, Stereo- Korrespondenz; Visualisie- 
rung von Volumina und Rachen; Vergleichsoperationen; 
Reduzieren/Maskieren; Objekterkennung zum Beispiel un- 
ter Verwendung von neuralen Netzwerken und Datenklassi- 
fizierem; Bildarchiv-Manipulation; Videobearbeitung und 
andere Bildoperationen wie interaktive, Maus-gesteuerte 
Rotation, Skalierung und Translation von Bildem. Dariiber- 
hinaus sind die Videodaten mehrdimensional mit minde- 
stens einer Zeitachse und mindestens einer raumlichen 
Achse, wodurch Animationen von zum Beispiel eindimen- 
sionalen Kurven von Testergebnissen, zweidimensionalen 
Rontgenstrahlbildern und dreidimensionalen MRI-Bildem 
implementiert werden konnen. Das beschriebene Bild-Spre- 
adsheet schafft somit eine Plattform zum Organisieren, Ver- 
arbeiten und Editieren von \ldeosequenzen fur zum Bei- 
spiel medizinische und nichtmedizinische Anwendungen. 

Weiterhin konnen Funktionen und Operationen so einge- 
bettet werden, daB diese andere Funktionen oder Operatio- 
25 nen aufrufen, wie es oben bei der Erzeugung der Zelle A3 in 
Fig. 3 beschrieben wurde. Dariiberhinaus bezeichnet der 
Begriff "= M gemaB der hier verwendeten Definition eine Zu- 
weisung und/oder eine erneute Zuweisung von Zellen und 
Variablen, die die Zellen darstellen. Es konnen auch andere 
30 Gleichungs-, Programmierungs- und/oder operationelle 
Konventionen verwendet werden. Zum Beispiel kann die 
Operation der Zuweisung alternativ auch durch das Symbol 
":=" bewirkt werden, wahrend die Boolschen Operationen 
aufgrund des Symbols ohne Doppelpunkt ausgefuhrt 
35 werden. Zum Beispiel kann gemaB Fig. 2 das Bild 64 in der. 
Zelle A2 durch die folgende Boolsche Gleichung erzeugt 
werden: 

if count = 0 then A2: = (Cl-Al) else A2: = Bl-Al. 

40 

Diese Gleichung kann in einem Programm verwendet 
werden, mit dem das Bild-Spreadsheet unter Verwendung 
eines Steuerparameters count aufgerufen wird. Solche logi- 
schen Programmiermethoden, die in bekannte numerische 
45 Spreadsheets implementiert sind, konnen somit in das be- 
schriebene Bild-Spreadsheet implementiert werden. Zusatz- 
lich dazu karin das Bild-Spreadsheet auch durch eine objekt- 
orientierte Programmierung implementiert werden, so daB 
solche Bild-Spreadsheets in andere Anwendungen impor- 
50 tiert werden konnen, wie zum Beispiel Textprogramme wie 
Microsoft Word und Datenbanken wie Microsoft Access, 
die mit der OLE-, DCOM- und/oder ActiveX- Technologien 
arbeiten. 

55 Registrierung (Justierung) 

Wenn sich der Patient zwischen zwei Aufnahmen von 
Bildern bewegt hat, fuhrt eine Subtraktion der Bilder gemaB 
der Beschreibung fur die Zellen Al, CI und A2 in Fig. 2 zu 
60 anatomise h faischen Ergebnissen, da nichtkorrespondie- 
rende Bereiche subtrahiert werden. Bei dem Bild-Spreads- 
heet-Generator 10 wird dieses Problem durch Verwendung 
eines Registrierungsverfahrens gelost, um die Bilder zum 
Beispiel durch Translation oder Morphogenie zu modifizie- 
65 ren, so daB sie vor der Anwendung einer mathematischen 
Operation zwischen den Bildern anatomisch korrekt mitein- 
ander korrespondieren. Mit dem Registrierungsverfahren 
kann auch die Bewegung, die das Subjekt ausgefuhrt hat, 
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abgeschatzt und eine Korrektur solcher Bewegungen durch- 
gefiihrt werden, wenn Operationen zwischen den Bildem 
ausgefiihrt werden. 

Mit der Registrierung wird eine anatomische Koharenz 
der mehrfachen Datensatze sichergestellt. Eine anatomische 5 
Koharenz setzt voraus, daB wenn ein Punkt P A in einem Vo- 
lumen A mit dem gleichen Bereich eines Patienten korre- 
spondiert, wie ein Punkt Pb in einem Volumen B, die regi- 
strierte Abbildung zwischen A und B, die durch den Bild- 
Spreadsheet-Generator 10 aufrechterhalten wird, eine sol- 
che anatomische Koharenz zwischen den Datensatzen bein- 
haltet. 

Bestimmte MR-Aufnahmen, wie zum Beispiel bei neuro- 
logischen Untersuchungen, sind gut registriert (justiert), da 
der Kopf wahrend der Dauer der Aufnahme fixiert werden 
kann. Eine Bewegung des Patienten kann jedoch nicht bei 
der Aufnahme anderer Korperteile verhindert werden. Dies 
betrifft zum Beispiel Umfangsuntersuchungen, bei denen 
eine Bewegung des Patiententisches mit dem Patienten zwi- 
schen verschiedenen Aufnahmen erforderlich ist. Ein Ver- 
fahren, das angewendet werden kann, ist die automatische 
Registrierung von festen Korpern, bei dem durch den Bild- 
Spreadsheet-Generator 10 und/oder das Grafiksystem 14 
eine Transformation eines festen Korpers vorgenommen 
wird, urn bei mehrfachen Untersuchungen eine Registrie- 
rung zu erzielen. Zum Beispiel kann eine M fusion M -Taskkarte 
in den Taskkarten 18 enthalten sein, d. h. die durch den Gra- 
fikgenerator 12 mit dem Grafiksystem 14 verwendeten und 
verfugbaren Funktionen konnen zu diesem Zweck verwen- 
det werden. Unter Verwendung einer interaktiven Selektion 
von korrespondierenden Punkten zwischen zwei volumetri- 
schen Untersuchungen kann eine vollstandige automatische 
Registrierung durchgefiihrt werden, mit der zwei Untersu- 
chungen auf der Basis von Pixel/Voxel- Werten angepafit 
werden, urn so eine geeignete Ausrichtung unter Verwen- 
dung der Regis trierungsmarker 56 zu erreichen, die in dem 
wiedergegebenen Bild-Spreadsheet und dessen Zellen in 
den Grundeinstellungen unsichtbar sind. Eine solche auto- 
matische Registrierung ist bei MRA-Anwendungen sinn- 
voll, da die Art und die Pixel/Voxel-Statistiken von mehrfa- 
chen Untersuchungen einer gemeinsamen physikalischen 
Struktur sehr ahnlich sind, wie es in den Zellen Al bis CI 
der Fig, 2 gezeigt ist, Auf diese Weise konnen durch einen 
Benutzer und/oder durch ein automatisches Anpassungs ver- 
fahren zur Registrierung, zum Beispiel durch ein neurales 
Netzwerk oder Klassifizierer, die Bilder zur Vorbereitung 
der weiteren Biid-Manipulationen gemaB obiger Beschrei- 
bung ausgerichtet werden. 

Eine andere verwandte Technik ist die interaktive, auf ei- 
ner Volumenableitung basierende Registrierung, bei der die 
Verfugbarkeit einer interaktiven und Echtzeit- Volumenab- 
leitung eine Registrierung des festen Korpers auf der Basis 
einer Visualisierung ermoglicht. Unter Verwendung eines 
solchen Registrierungsverfahrens konnen zwei Untersu- 
chungen gleichzeitig volumenabgeleitet sein, wie zum Bei- 
spiel die Volumenbilder 72, 76, 80 in Fig. 3. Der Benutzer 
und/oder die automatische Technik zur Registrierungsan- 
passung einschlieBlich neuraler Netzwerke oder Klassifizie- 
rer konnen interaktiv versuchen, die Uberlappung zwischen 
Bildem zu maximieren. Zum Implementieren einer solchen 
interaktiven Registrierung kann eine Echtzeit- Volumenab- 
leitung verwendet werden. Bei einer alternativen Ausfiih- 
rungsform konnen Transformationen verwendet werden, die 
einen volumetrischen Korper zur Anpassung an einen ande- 
ren deformieren, um eine automatische Verwerfungsregi- 
strierung durchzufuhren, mit der Bewegungen von nichtfe- 
sten Korpem kompensiert werden konnen. 

Es konnen auch andere bekannte Bild-Registrierungsver- 
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fahren verwendet werden, die z. B. auf dem medizinischen 
Gebiet bekannt sind, wie zum Beispiel ein Verfahren zur 
Maximierung der beiderseitigen Informationen (MMI), so- 
wie ein Verfahren zur Iteration des nachsten Punktes (ICP), 
um auf diese Weise eine Anpassung und Manipulation der 
Bilder in dem Bild-Spreadsheet vorzunehmen. 

Betriebsverfahren 

10 Das Bild-Spreadsheet-System 10 arbeitet in Verbindung . 
mit dem Grafikgenerator 12 unter Anwendung des in Fig, 4 
gezeigten Verfahrens. Der Grafikgenerator 12 erhalt in ei- 
nem Schritt 92 Bilddaten und erzeugt in einem Schritt 94 ge- 
maB der Darstellungen in den Fig. 2 und 3 ein Gitter oder 
15 Spreadsheet, um zum Beispiel die Zellen Al bis A3, Bl bis 
B3, CI bis C3 usw. zu erzeugen. Es ist klar, daB auch mehr 
Zellen erzeugt werden konnen, wobei nur ein Teil der Zellen 
dargestellt ist und die iibrigen Zellen durch Scrollen durch 
die Zellen wie bei bekannten Spreadsheet-Systemen ange- 
20 zeigt werden konnen. Nach dem Empfang der Bilddaten in 
Schritt 92, die eine Reihe von Bildern mit Bild-Begren- 
zungszeichen wie Vorlaufen (Header) sein konnen, um an- 
zuzeigen, welche Daten mit welchem Bild korrespondieren, 
unterteilt der Bild-Spreadsheet-Generator 10 den Bild-An- 
25 zeigebereich 48 in mindestens eine gleiche oder naherungs- 
weise gleiche Anzahl von Schirmbereichen oder Segmen- 
ten, wie Zellen vorhanden sind. Zum Beispiel wird eine 
Reihe von zwei bis vier Bildern mit einem Format von min- 
destens zwei mal zwei Zellen angezeigt; eine Reihe von fiinf 
30 oder sechs Bildern mit einem Format von mindestens zwei 
mal drei Zellen; eine Reihe von sieben bis neun Bildem mit 
einem Format von mindestens drei mal drei Zellen usw. 
Eine emeute Formatierung dieser Formate durch Hinzufu- 
gen von Reihen oder Spalten kann durch den Benutzer vor- 
35 genommen werden, wobei leere Reihen und Spalten auto- 
matisch erzeugt werden konnen, um zusatzliche Zellen fur 
die Anordnung und Wiedergabe von Ergebnissen von Zel- 
lenoperationen zu schaffen. 

Mit dem Verfahren werden dann in Schritt 96 die Bilder 
40 in die Zellen geladen, so daB die Registrierung jedes Bildes 
an die Registrierungsmarker 56 angepaSt ist. Nach dem La- 
den der Bilder in die Zellen wird das Verfahren in Schritt 98 
mit Benutzerbefehlen beaufschlagt, um die Bilder zu bear- 
beiten, wobei in Schritt 100 eine Gleichung eingegeben und 
45 in Schritt 102 eine Steuerung der Anzeige durchgefiihrt wer- 
den kann, die auch eine Fensteraufteilung, ein Zoomen und 
Panning-Funktionen umfassen kann, eberiso wie die Option, 
Operationen fur einen Satz von Zellen gleichzeitig zu ver- 
binden, und in Schritt 104 eine Bild-Spreadsheet-Steuerung 
50 moglich ist, die auch Druck- und Speicherbefehle umfaBt. 
Zum Eingeben einer Gleichung in Schritt 100 wahlt der 
Benutzer die Zellen zum Beispiel durch Bewegen eines her- 
vorgehobenen Fensters, mit dem die Rander der gegenwar- 
tig gewahlten Zelle hervorgehoben werden, oder auf andere 
55 Weise durch Anklicken der gewiinschten Zelle aus. Der Be- 
nutzer wahlt dann einen "define operation"-Befehl, der ein 
Icon auf dem S chirm 48 oder eine bestimmte Tastenkombi- 
nation, ein Mausknopf oder ein pull-down-Fensterbefehl 
sein kann. Daraufhin erscheint das Eintragsfenster 52, in das 
60 der Benutzer die gewunschte Operation oder den betreff en- 
den Ausdruck eingibt. 

Nach der Definition aller Operationen fur eine oder meh- 
rere Zelle kann der Benutzer das Bild-Spreadsheet ausfuh- 
ren, um die eingegebenen Operationen mit einem geeigne- 
65 ten Befehl wie zum Beispiel einer vorbestimmten Tasten- 
kombination oder durch ein pull-down-Menii zu implemen- 
tieren. Der Status der Ausfuhrung der Operationen kann 
uber die GUI 46 zum Beispiel durch Veranderung von Far- 
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ben auf dem Schirm oder diyrch Ausgabe des Wortes "ausge- 
fiihrt" angezeigt werden. 

Wahrend oder nach dem Eingeben der Gleichung in 
Schritt 100 oder der Anzeigesteuerung in Schritt 102. kann 
die Gesamtbild-Spreadsheet-Steuerung in Schritt 104 akti- 
viert werden, die zum Beispiel einen Speicherknopf zum 
Speichem des Bild-Spreadsheets und/oder aller ausgewahl- 
ter Zellen mit den gegenwartigen Einstellungen, Bildern 
und/oder Gleichungen umfaBt. Mit dem Schritt 104 kann 
auch ein neues Bild-Spreadsheet fur den gleichen Patienten 
und/oder eine Untersuchung erzeugt werden, oder es wird 
ein neues Bild-Spreadsheet fur andere Patienten und/oder 
Untersuchungen erzeugt, was dazu fiihrt, daB das Verfahren 
zu dem Schritt 92 zuriickspringt, um die Bilddaten aufzu- 
nehmen. Der Benutzer kann mit dem Schritt 106 veranlaBt 
werden, vor der Aufnahme neuer Bilddaten die gegenwarti- 
gen Bilddaten beizubehalten oder zu loschen. Wenn die ge- 
genwartig geladenen Daten zu bearbeiten sind, so wird das 
Verfahren mit den Schritten 102 bis 106 wiederholt. 

Bei alternativen Ausfuhrungsformen kann der Schritt 104 
einen Befehl enthalten, mit dem die Ergebnisse der Bearbei- 
tung der gegenwartigen Bilder in dem Bild-Spreadsheet auf 
andere Taskkarten wie einer virtuellen Endoskop-Anwen- 
dung, tibertragen werden. Der Benutzer kann durch Anklik- 
ken oder auf andere Weise einen gewiinschten Satz von Zel- 
len auswahlen, wofaufhin die gewiinschte Taskkarte akti- 
viert wird, um die ausgewahlten Zellen zu verarbeiten. 

' Dariiberhinaus kann der Schritt 104 Befehle umfassen, 
mit denen die eingeg;ebenen Gleichungen als Bild-Spreads- 
heet-Schablone oder Script, das nicht unbedingt Patienten- 
spezifisch ist, auf zukiinftig importierte Bilddaten angewen- 
det wird. Solche Bild-Spreadsheet-Scripte konnen dann ge- 
laden und auf neue Bilddaten oder Untersuchungen ange- 
wendet werden. Zum Beispiel kann gemaB Fig. 2 der ProzeB 
des Entfernens von Hintergrund-Gewebe aus den eingege- 
benen MRA-Daten durch die Bild-Subtraktionsgleichung in 
der Zelle A2 so implementiert werden, daB diese auf alle 
kompatiblen eingegebenen Bilddaten angewendet wird uyd 
nicht nur auf die Bilddaten fur die Bilder 58 bis 66. 

Alternative Ausfuhrungsformen 

: Bei einer alternativen Ausfuhrungsform kann das Gitter 
der Zellen, wie es in den Fig. 2 und 3 gezeigt ist, unter- 
schiedliche GroBen aufweisen. Die Zellen konnen die ur- 
spriinglichen Abtastdaten, eine einzige mathematische For- 
mel oder Programme mit einer Mehrzahl von Befehlen ent- 
halten. Jede Zelle des Bild-Spreadsheets kann als Operand 
fur solche Berechnungen verwendet werden. Probleme im 
Zusammenhang mit einer Fehlanpassung der Auflosung 
werden durch automatische Interpolation gelost. Zusatzlich 
bietet jede einzelne Zelle eine Vielzahl verschiedener Optio- 
nen fur die Visualisierung, wie zum Beispiel Zellen, die in- 
teraktiv sehnittweise Ansichten, eine Projektion maximaler 
Intensitat (MEP) oder simulierte Rontgenstrahlenerzeugung, 
eine Volumenerzeugung usw. darstellen konnen. Die inter- 
aktiven Parameter verandern sich in Abhangigkeit von der 
Art der Visualisierung. Wahrend der Betrachtung eines 
Schnittes kann der Benutzer zum Beispiel die Parameter fur 
den Schnitt, die Neigung, den Zoomfaktor, den Fenster- 
wechsel und Pegel auswahlen, wahrend bei einer 3D An- 
sicht Steuereinheiten fur eine Kameraposition und andere 
Parameter usw. hinzugefugt sind. 

Bei einer anderen alternativen Ausfuhrungsform kann ein 
ZusammenschluB von Visuahsierungen durchgefuhrt wer- 
den, durch den Visuahsierungen in verschiedenen Zellen zu- 
sarnmengefaBt werden, so daB Anderungen, die bei deh Dar- 
stellungsparametern in einer Zelle der zusammengeschlos- 
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senen Gruppe auftreten oder implementiert werden, automa- 
tisch auf den Rest der Zellen in der Gruppe angewendet wer- 
den. Diese Darstellungsparameter umfassen das Fenster, 
den Pegel, den Zoomfaktor und die Neigung fur eine 2D- 
5 Ansicht; sowie den Standpunkt, die Kamera-Parameter, Be- 
zugsebenen, Transferfunktionen usw. fur eine 3D-Ansicht, 
ebenso wie eine Filterung und andere Verfahren zur Bio- 
transformation. Zum Beispiel konnen gemaB Fig. 2 die Bil- 
der 58 bis 66 in den Zellen Al, A2,B2bzw. CI in der Weise 

10 zusammengeschlossen werden, daB eine Anderung eines der 
Visualisierungsparameter von einer Zelle den Visualisie- 
rungsparameter der ubrigen, zusammengeschlossenen Zel- 
len verandert. Bei diesem Beispiel kann eine Anderung der 
Auflosung zum Zoomen in einen Teil des Bildes 62 in der 

15 Zelle C2 dazu fuhren, daB der Bild-Spreadsheet-Generator 
10 die Auflosung in den Zellen Al, A2, Bl entsprechend an- 
dert, um in einen korrespondierenden Teil der entsprechen- 
den Bilder 58 bis 64 zu zoomen. 

Bei einer anderen alternativen Ausfuhrungsform kann ein 

20 ZusammenschluB der interaktiven Messung und des interes- 
sierenden Bereiches (ROI) vorgenommen werden. Wenn in 
einer Zelle der zusammengeschlossenen Gruppe interaktive 
Messungen wie zum Beispiel Messungen des Abstandes, 
der FLache, des Volumens, der Histogramm/Intensitatsei- 

25 genschaften usw. vorgenommen werden, werden die glei- 
chen Messungen auf die anderen Mitglieder der Gruppe ge- 
spiegelt. Fur auf einem Histogramm bzw. einer Intensitat ba- 
sierende Messungen kann das Ergebnis in jedem Volumen 
anders sein. Die ROI-Selektion und die Position der Zeiger 

30 oder anderer grafischer Indikatoren in Bezug auf Merkmale 
in den Bildern werden in ahnlicher Weise zusammenge- 
schlossen. 

Der Bild-Spreadsheet-Generator 10 implementiert einen 
vollstandigen Programmiersprachen-Interpreter fur Aus- 

35 driicke und Gleichungen in den Zellen. Solche Ausdriicke 
und Gleichungen sind nicht nur einzeilige arithmetische, bi- 
nare Operationen oder unare Funktionen, sondern konnen 
auch mehrzeilige Programme sein, die temporare Variablen, 
Schleifen, Funktionsdefinitionen und andere Arten von an- 

40 spruchsvollen Ablaufsteuerungen und Rechenvorschriften 
enthalten. Die Ausdriicke konnen auch Aufrufe fur durch ei- 
nen Benutzer bereitgestellte externe Funktionen und voll- 
standige Programme enthalten. Im Ermessen des Benutzers 
v konnen einzelne Ausdriicke und vollstandige Verarbeitungs- 

45 bogen gespeichert und wieder aufgeruferi werden. 

Die Daten in einer Zelle miissen nicht unbedingt an jeder 
raumlichen S telle einen einzigen Skalar aufweisen. Daten- 
satze konnen auch Vektor-bewertet sein, wobei die fur eine 
raumhche Stelle gespeicherten Informationen aus einer Li- 

50 ste von Datenelementen mit beliebiger Lange bestehen koii- 
nen. Die Anwendung eines Gradient- Operators auf ein Vo- 
lumen erzeugt zum Beispiel ein resultierendes Volumen, in 
dem jedem raumlichen Ort drei HieBkommawerte zugewie- 
sensind. 

55 Operationen sind zwischen Modalitaten und Arten von 
Funktionen uberladen; dies bedeutet, daB der Bild-Spreads- 
heet-Generator 10 automatisch die geeignete Operation aus 
dem Ausdruck und den zugrundeliegenden Daten bestimmt. 
Fur so unterschiedliche Operationen wie zum Beispiel sca- 

60 lare und vektorielle Operationen wird zum Beispiel in dem 
Fall, in dem der Benutzer scalanvertige Volurnina addiert, 
die scalare Addition verwendet und ein scalarwertiges Er- 
gebnis erzeugt. Wenn jedoch vektorwertige Volurnina ad- 
diert werden, wird eine andere Art von Operation verwen- 

65 det, die eine Vektoraddition implementiert, und das Ergeb- 
nis ist ein vektorwertiges Volumen. Die Kompatibilitat die- 
ser Arten von Operanden in einer Gleichung wird automa- 
tisch gepriift, und die Gleichung wird durch den Bild-Spre- 
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adsheet-Generator 10 ausgewertet, wenn die Operanden 
kompatibel sind. Andernfalls informiert der Bild-Spreads- 
heet-Generator 10 den Benutzer iiber das Bildsystem 14 
iiber einen Fehler und/oder die Art einer Fehlanpassung und 
verhindert eine Ausfuhrung der Operation. 5 

Mit der obigen Beschreibung wird ein erfindungsgemaBer 
Bild-Spreadsheet-Generator 10 und ein entsprechendes Ver- 
fahren anhand einer bevorzugten Ausfuhrungsform be- 
schrieben. Es sind jedoch zahireiche Modifikation und An- 
derungen moglich, ohne den Schutzumfang der Erfindung to 
zu verlassen. Auch wenn zum Beispiel im Zusammenhang 
mit der bevorzugten Ausfuhrungsform ein Bild-Spreadsheet 
beschrieben wird, gehort auch eine Biid-Datenbank, die in 
Verbindung mit dem Bild-Spreadsheet-Generator 10 in der 
oben beschriebenen Weise arbeitet, zu der Erfindung. Die 15 
Beschreibung dient somit nur zur Verdeutlichung und hat 
keine beschrankende Wirkung. 

Patentanspriiche 

20 

1 . Bildsystem zum Erzeugen eines Bild-Spreadsheets 
mit: 

einem Prozessor zum Anzeigen einer grafischen Benut- 
zerschnittstelle (GUI) auf einem Display; und 
einem Bild-Spreadsheet-Generator, mit dem bewirkt 25 
wird, daB die GUI ein Spreadsheet-Gitter mit einer 
Mehrzahl von Zellen mit zugeordneten Registrierungs- 
markern anzeigt, wobei jeder Zelle eine Gleichung zu- 
geordnet werden kann; 

wobei der Spreadsheet-Generator auf B ilddaten mit zu- 30 
geordneten Registrierungsdaten zum Anzeigen einer 
Mehrzahl von Bildem in einem Teil der Mehrzahl von 
Zellen anspricht, wobei die Mehrzahl von Bildern so 
ausgerichtet und orientiert ist, daB die Registrierungs- 
marker der entsprechenden Zellen zusammenpassen; 35 
und 

wobei der Bild-Spreadsheet-Generator auf Benutzer- 
Eingaben zum Implementieren eines Satzes von Glei- 
chungen in einem ersten Satz von Zellen anspricht, um 
erste Bilder in dem ersten Satz von Zellen zu transfer- 40 
mieren. 

2. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator vorbestimmte Bild-transfor- 
mierende Funktionen implementiert, die durch einen 
Benutzer individuell angegeben werden, um aus den 45 
ersten Bildern transformierte Bilder in einem zweiten 
Satz von Zellen zu erzeugen. 

3. Bildsystem nach Anspruch 2, bei dem die vorbe- 
stimmten Bild-transformierenden Funktionen mathe- 
matische Funktionen sind. 50 

4. Bildsystem nach Anspruch 2, bei dem die vorbe- 
stimmten Bild-transformierenden Funktionen aus einer 
Gruppe ausgewahlt sind, die eine Schwellwertbildung, 
eine Graupegel-Fensterbildung, eine Bildverstarkung, 
eine Segmentation, eine Gestaltbildurig, eine Stereo- 55 
Korrespondenz, eine Visualisierung, Vergleichsopera- 
tionen, ein Stutzen/Maskieren, eine Objekterkennung, 
eine Bildarchiv-Manipulation und eine Videobearbei- 
tung umfaBt. 

5. Bildsystem nach Anspruch 1, bei dem die Bilddaten 60 
eine Mehrzahl von Magnetresonanzbild (MRI)-Rah- 
men umfassen. 

6. Bildsystem nach Anspruch 5, bei dem die MRI- 
Rahmen mit Bildern einer Magnetresonanz-Angiogra- 
phie (MRA) korrespondieren, die Bilder umfassen, die 65 
das Eindringen eines Kontrastmittels in ein vaskulares 
System zeigen. 

7. Bildsystem nach Anspruch 6, bei dem die MRA- 
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Bilder einen zeitlichen Fortschritt des Eindringens des 
Kontrastmittels zeigen. 

8. Bildsystem nach Anspruch 7, bei dem der Bild- 
Spreadsheet-Generator eine Subtraktionsgleichung im- 
plementiert, um ein erstes Bild des vaskularen Systems 
ohne das Kontrastmittel aus einem zweiten Bild des 
vaskularen Systems mit Kontrastmittel zu filtern, wo 
durch ein HuB des Kontrastmittel in dem System dar- 
gestellt wird. 

9. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator zweidimensionale Bilder in der 
Mehrzahl von Zellen erzeugt. 

10. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator dreidimensionale Bilder in der 
Mehrzahl von Zellen erzeugt. 

11. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator in der Mehrzahl von Zellen 
Text erzeugt. 

12. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator iiber die GUI ein pop-up-Fen- 
ster erzeugt, um eine Eingabe durch einen Benutzer in 
eine entsprechende Zelle zu erleichtern. 

13. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator in einer ersten Zelle ein Esels- 
ohr-Icon erzeugt, das betatigbar ist, um selektiv eines 
einer Mehrzahl von Bildern wiederzugeben, die der er- 
sten Zelle zugeordnet sind. 

14. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator eine pop-up-Benutzerschnitt- 
stelle (Ul) erzeugt, die betatigbar ist, um selektiv eines 
einer Mehrzahl von Bildern wiederzugeben, die einer 
ersten Zelle zugeordnet sind. 

15. Bildsystem nach Anspruch 1, bei dem die Bilder 
mit einem Bildverfahren erzeugt werden, das aus einer 
Gruppe ausgewahlt ist, die eine Magnetresonanz (MR), 
eine Computertomographie (CT), eine Positronen- 
Emissionstomographie (PET), eine Einzel-Photonen- 
Emissions-CT (SPECT) und 3D Ultraschall umfaBt. 

16. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator eine zusammengefaBte Visuali- 
sierung von ersten Bildem durchfuhrt, wonach der 
Bild-Spreadsheet-Generator die ersten Bilder in einen 
ersten Satz von Zellen transformiert, die so zusammen- 
gefaBt werden, daB eine Transformation eines Bildes in 
einer Zelle entsprechend der zusammengefaBten Vi- 
sualisierungs-Parameter auf das entsprechende, in min- 
destens einer zweiten Zelle wiedergegebene Bild aus- 
gefuhrt wird. 

17. Bildsystem zum Erzeugen eines Bild-Spreadsheets 
mit: 

einem Prozessor zum Anzeigen einer grafischen Benut- 
zerschnittstelle (GUI) auf einem Display; und 
einem Bild-Spreadsheet-Generator, mit dem bewirkt 
wird, daB die GUI ein Spreadsheet-Gitter mit einer 
Mehrzahl von Zellen mit zugeordneten Registrierungs- 
markem anzeigt, wobei jeder Zelle eine Gleichung zu- 
geordnet werden kann, sowie zum Anzeigen von mehr- 
dimensionalen Bildern; 

wobei der Bild-Spreadsheet-Generator auf einen Satz 
von Gleichungen in einem ersten Satz von Zellen an- 
spricht, um erste Bilder in dem ersten Satz von Zellen 
zu transformieren; 

wobei der Bild-Spreadsheet-Generator auf Bilddaten 
anspricht, die mit mehrdimensionalen Bildern korre- 
spondieren, zum automatischen Ausrichten der Bilder 
durch Transformationen des ersten Satzes von Zellen 
vor der Anwendung des Satzes von Gleichungen auf 
diesen ersten Satz von Zellen. 
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18. Bildsy stern, nach j^nspruch 17, bei dem die Trans- 
formationen zum Ausrichten starre Transformationen 
sind. 

19. Bildsystem nach Anspruch 17, bei dem die Trans- 
formationen zum Ausrichten verwerfende Transforma- 5 
tionen sind. 

20. Bildsystem nach Anspruch 17, bei dem der Bild- 
Spreadsheet-Generator eine anatbmische Koharenz 
zwischen verschiedenen Bildern erzeugt, die in ver- 
schiedenen Zellen des Bild-Spreadsheets angezeigt 10 
werden. 

21. Verfahren zum Implementieren eines Bild-Spre- 
adsheets mit folgenden Schritten: 

Anzeigen eines Spreadsheet-Gitters mit einer Mehr- 
zahl von Zellen mit einer grafischen Benutzerschnitt- 15 
stelle (GUI); 

Zuordnen einer Gleichung zu mindestens einer der 
Mehrzahl von Zellen; 

Verarbeiten von Bilddaten mit zugeordneten Registrie- 
rungsdaten zum Anzeigen einer Mehrzahl von Bildern 20 
in einem Teil der Mehrzahl von Zellen; 
Ausrichten und Orientieren der Mehrzahl von Bildern 
in den entsprechenden Zellen, so.daB die Registrie- 
rungsmarker von entsprechenden Zellen zusammen- 
passen; und 25 
Transformieren von ersten Bildern in einem ersten Satz 
von Zellen gemaB der mindestens einen Gleichung. 
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